中文字幕亚洲一区人妻,亚洲天堂精品在线观看,成人中文字幕不卡,日韩精品嘿嘿嘿视频

大數(shù)據(jù)的實(shí)時(shí)處理和離線處理

發(fā)布時(shí)間:2018-08-04 閱讀量:64

??數(shù)據(jù)存儲(chǔ)已成為工作、生活中必不可少的一部分。中國目前的大數(shù)據(jù)時(shí)代發(fā)展迅速,傳統(tǒng)的數(shù)據(jù)存儲(chǔ)備份已無法滿足用戶的需求,而木橋比較常用的數(shù)據(jù)處理方式可分為實(shí)時(shí)處理和離線處理。

??

數(shù)據(jù)的分類

??一.實(shí)時(shí)處理:Flume+Kafka+Storm+Mongo

通過Flume進(jìn)行數(shù)據(jù)的的采集,將數(shù)據(jù)推送給Kafka作為數(shù)據(jù)的緩存層,Storm作為kafka的消費(fèi)者,從而進(jìn)行實(shí)時(shí)的處理。最終,通過Web展示給前端,能夠?qū)崟r(shí)統(tǒng)計(jì)和分析車輛的在線總數(shù),軌跡點(diǎn)總數(shù),對(duì)此可以做一些相關(guān)的應(yīng)用。


??數(shù)據(jù)來源:主要是Nginx 服務(wù)器獲取的GPS數(shù)據(jù)和MSp數(shù)據(jù)格式都是JSON。

??數(shù)據(jù)采集:通過Flume的攔截器對(duì)日志進(jìn)行預(yù)處理,將數(shù)據(jù)存儲(chǔ)在緩存層kafka。

??數(shù)據(jù)統(tǒng)計(jì):通過Storm實(shí)時(shí)拉取數(shù)據(jù)做計(jì)算,將臨時(shí)結(jié)果數(shù)據(jù)存儲(chǔ)在Redis。

??數(shù)據(jù)落地:最終的數(shù)據(jù)存儲(chǔ)在Mongo中,定時(shí)獲取Redis中的數(shù)據(jù),存儲(chǔ)在Mongo。

??Web展示:查詢數(shù)據(jù)庫定時(shí)更新前端頁面,可以查看車輛的一些情況。

??二.離線處理:hadoop +hive

Hadoop分布式存儲(chǔ)+分布式運(yùn)算的框架,可以對(duì)海量數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析,解決單節(jié)點(diǎn)極限性。

通過編寫MapReduce可以批量統(tǒng)計(jì)某個(gè)地域的車輛里程情況、道路等級(jí),通過速度判斷車型、車輛駕駛情況等,使用Hive做數(shù)據(jù)倉庫,可以統(tǒng)計(jì)最近一年或者兩年的數(shù)據(jù),進(jìn)行數(shù)據(jù)的建模和歷史數(shù)據(jù)的統(tǒng)計(jì)和分析。

常用的離線數(shù)據(jù)存儲(chǔ)備份有磁盤、光盤庫等存儲(chǔ)方式。可有效的避免因?yàn)榫W(wǎng)絡(luò)、黑客等原因造成的數(shù)據(jù)丟失等問題,更好的對(duì)數(shù)據(jù)進(jìn)行了保護(hù)。更詳細(xì)離線數(shù)據(jù)處理方案等咨詢可致電成都吉福匯”,專業(yè)的技術(shù)和服務(wù)團(tuán)隊(duì),為您提供專業(yè)的解決方案。

??400-028-4366/028-85538251